今天由杭州SEO博客为大家分享“robots协议是什么？在网站优化中，robots.txt有什么用？”robots.txt文件其实是我们网站与搜索引擎的一个协议，这个协议简单理解就为一道门，那个目录可以被抓取收录，哪些目录不能被抓取收录，只要你把规则写到robots.txt协议上面去，搜索引擎就会跟着执行。

但是要知道，并不是说，你写了协议，百度搜索引擎就不会抓取了，不是这样的，有的时候，百度依然还是会抓取的，robots.txt协议并不是完全适用于百度，但是完全适用于谷歌，百度也是为了检查我们网站中是否有违法内容等等，也会强制抓取robots.txt目录，但是不会收录，测试了很多词，百度不会收录禁止抓取的文件，但抓取还是会的。

下面我们详细来讲解robots文件。

robots.txt协议（也称为爬虫协议、爬虫规则、机器人协议等。）

robots.txt文件是存储在网站根目录下的TXT文本文档。这是网站和蜘蛛之间的协议，该网站告诉搜索引擎哪些页面可以被抓取，哪些页面不想通过机器人协议被抓取。推荐注意事项（深圳搜索引擎优化培训）

robots.txt的角色是什么？

如果你的网站根目录中有一个像robots.txt这样的文件，蜘蛛在抓取你的网站时会首先访问这个文件（robots文件通常存储在根目录中，蜘蛛首先访问这个文件，所以这个文件非常重要）。

机器人文件用于告诉搜索引擎蜘蛛网站的哪些文件夹可以被检索，哪些文件夹不能被检索，从而确保我们网站的隐私内容不会被包括在内。

robots.txt可以限制的搜索引擎如下！

1.百度蜘蛛

拜德斯皮德的名字是拜德斯皮德。百度蜘蛛日志中也有百度蜘蛛-手机、百度蜘蛛-图像、百度蜘蛛-视频和百度蜘蛛-新闻。百度蜘蛛和百度蜘蛛图片是百度蜘蛛的两种。

2.谷歌蜘蛛：谷歌机器人，谷歌机器人移动，它的名字是抓取wap内容

3.蜘蛛，这家伙很勤奋

4.索索斯派德：索索斯派德，比360更勤奋

5.雅虎蜘蛛：雅虎！诋毁中国

6.有一只蜘蛛：你的机器人

7.搜狗蜘蛛：搜狗新闻蜘蛛

搜狗蜘蛛还包括以下几种：搜狗蜘蛛、搜狗inst蜘蛛、搜狗搜狗蜘蛛2

博客、搜狗新闻蜘蛛、搜狗蜘蛛等。

8.MSNSpider:msnbot，MSNbot-媒体

9.冰蜘蛛：冰机器人

以上就是我们今天所分享的内容所在，至于robots文件的编写，我们会在以后的文章中详细分享，大概的说一下，robots.txt禁止指令，包含某一个文件，禁止被抓取，某一个目录禁止被抓取，某一种类型的文件禁止被抓取，当然，不要写错robots.txt如果写错了，可能导致蜘蛛无法抓取内容，所导致的无收录现象，如果发觉网站收录变慢，可以删除下robots.txt，更新一段时间检查下，如果收录正常就是robots.txt编写内容错误了。